TimeRoute: Time-Aware Modality Routing and Diffusion for Multi-Modal Recommendation
TimeRoute:时间感知模态路由与扩散的多模态推荐
🧭 时间感知多模态融合推荐
University of Amsterdam · University of Hong Kong · Aarhus University
利用时间感知模态路由和基于扩散的图重构,动态调整多模态融合权重并抑制过时模态信号
📌 工作参考价值(4 点)
- 动态模态融合权重:电商推荐中,商品文本、图片、视频在不同时间节点的重要性不同(如大促期间视觉主导,日常文本更重要),可借鉴 TimeRoute 的时态感知路由器,用用户行为序列和交互时间戳生成个性化的模态权重,代替人工设定或全局共享权重。
- 扩散模型用于模态去噪:在做物品图或特征传播前,可以用扩散过程对模态交互边去噪,剔除因时间漂移而过时的边,减少噪声引入。FiLM 条件注入长短期时序信号的设计可复用到召回/排序的特征清洗环节。
- 双流长短时去噪头:区分长期偏好和短期兴趣对模态敏感性的差异,可以在现有推荐模型中加入类似的结构,例如在用户表征层用两个独立的编码路径分别建模长短期行为,再通过门控融合,提升对时间敏感的模态利用率。
- 工程落地方案:论文在 TikTok 和 Amazon 数据集上验证,且代码开源,适配多模态推荐场景可直接尝试迁移,尤其适合内容形态丰富、用户兴趣随时间明显漂移的业务(如电商、短视频)。